CS アナリティクスでは BigQuery のテーブルや UDF などの情報も一覧表示で確認できます
こんにちは、みかみです。
弊社クラスメソッドの自社プロダクト CS アナリティクス（以下 CSA ）は、短期間、低コストで導入可能な統合データ分析基盤です。
概要
データロードやマート作成などのジョブを作成・実行・管理できる CSA ですが、テーブルやビュー、UDF などの情報も画面から確認できます。
本エントリでは、CSA の DWH に BigQuery を選択した場合に、どの画面でどんな BigQuery 関連情報が確認できるかご紹介したいと思います。
CSA JMCの挙動確認バージョン
当エントリの内容は以下のCSA JMCバージョンで挙動を確認しています。
- CSA JMC v5.5.0
前提
CSA のサイト設定手順は省略します。詳細は以下のエントリをご参照ください。
リソース情報を確認
画面上部の「リソース」メニューから「リソース管理情報」をクリックすると、リソース管理情報画面に遷移します。
リソース管理情報画面下部「BigQuery メタ情報」欄の「テーブル一覧(件数・容量情報)」リンクから BigQuery のテーブルやビューの情報を、「UDF・ストアド一覧」リンクからユーザー定義関数やプロシージャの情報を確認することができます。
なお、「エンドポイント・接続情報」に表示されている「Amazon RDS接続情報」は CSA が動作するために使用する管理データベースの接続情報で、変更することはできません。
「Google Cloud Storageのバケット情報」と「BigQuery 接続情報」は、「サイト設定」から「DWH接続設定」画面で設定・変更可能です。
テーブル一覧・詳細を確認
テーブル一覧画面では、BigQuery のテーブル、ビューの一覧が確認できます。
サイト設定の「BigQueryプロジェクトID」で指定したプロジェクトの全てのデータセット配下のテーブルとビューが一覧表示されます。
「テーブル種別」欄には、作成済みのテーブル・ビューの種別に従って、以下のいずれかか表示されます。
- TABLE：BigQuery にデータを格納済みのネイティブテーブル
- EXTERNAL：GCS や BigTable などの BigQuery 以外の場所にデータを保持している外部テーブル
- VIEW：CREATE VIEW 構文によって他テーブルデータを参照しているビュー
- MATERIALIZED_VIEW： CREATE MATERIALIZED VIEW 構文によって他テーブルデータを参照している実体化ビュー
- テーブルの概要 ｜ BigQuery ドキュメント
- 外部データソースの概要 ｜ BigQuery ドキュメント
- ビューの概要 ｜ BigQuery ドキュメント
- マテリアライズド ビューの概要 ｜ BigQuery ドキュメント
テーブル種別が EXTERNAL または VIEW の場合、テーブル/ビューデータの「行数」と「容量」は表示されません。
後述のテーブル詳細画面でもサンプルデータが表示されません。
BigQuery では SELECT 文を実行すると処理したデータ量に従って課金が発生します。
外部テーブルやビューの場合、通常のネイティブテーブルとは異なり、データ量やサンプルデータは SELECT 文で取得する必要があるので、クエリ課金が発生するのを防ぐためです。
GCP の BigQuery 管理画面でもテーブルやビューの一覧は確認できますが、CSA の画面からなら各テーブルのデータ量や有効期限などもまとめて確認することができます。
テーブル名のリンクをクリックすると、テーブルの詳細情報が確認できます。
「テーブル定義」欄では、データセット名、テーブル名とテーブルのカラムの情報を確認できます。 下の「テーブルスキーマ」タブをクリックすると、テーブルスキーマの JSON 定義が表示されます。
この JSON 定義は、BigQuery 管理画面や bq コマンドでテーブルを作成する場合に指定できます。
画面下半分の「データ情報」欄では、テーブルに格納されているデータのレコード件数と容量、テーブルのサンプルデータを確認できます。 なお、画像のサンプルデータはデータ確認用に作成した架空データで、実在の人物とは一切関係ありません。
テーブル定義、データ容量、サンプルデータなどを、１画面でまとめて確認できて便利です。
UDF・ストアド一覧を確認
リソース管理情報画面一番下のリンクをクリックすると、UDF・ストアド一覧画面に遷移します。
- 標準 SQL ユーザー定義関数 ｜ BigQuery ドキュメント
- CREATE FUNCTION ステートメント ｜ BigQuery ドキュメント
- CREATE PROCEDURE ステートメント ｜ BigQuery ドキュメント
一覧では、データセット名とユーザー定義関数名またはプロシージャ名と定義内容を確認できます。
どのデータセットに、どんな処理をする関数やプロシージャがあるのか一目でわかるので、SQL を作成する場合の確認などに役立つかと思います。
まとめ
本エントリでは CSA 画面からリソース情報を確認する方法についてご紹介しましたが、CSA ではデータロードや SQL をジョブとして登録し、簡単に実行・管理することができます。 画面からの UI 操作でジョブのスケジュール実行設定やエラー通知の設定、実行ログの確認なども可能です。
DWH は BigQuery の他に、Redshift と Snowflake にも対応しており、もちろんどの DWH でもテーブルや UDF などの情報を CSA 画面からご確認いただけます。
BigQuery のテーブルや UDF などの情報も確認できる統合データ分析基盤 CSA について、少しでもご興味をお持ちいただけましたら、ぜひお気軽に弊社クラスメソッドにご連絡ください！
